Cha ông là Nguyễn Huy Tựu (1690 - 1750), từng làm Tham chính Thái Nguyên, sau phong hàm Công bộ Thượng thư, tước Khiết Nhạ hầu.

Thân mẫu ông người họ Phan, tên chữ Cẩm Trực là cô ruột Thám hoa Phan Kính, người cùng xã.

Em trai ông là Nguyễn Huy Quýnh (1734 - 1785) đỗ Tiến sĩ năm Nhâm Thìn (1772) và làm quan đến Đốc thị Thuận Quảng, Hàn lâm viện thị giảng.

Con ông là Nguyễn Huy Tự (1743 - 1790), đỗ Giải nguyên kỳ thi Hương năm 1759; đến năm 1779 được công nhận học vị tương đương với Tiến sĩ, chuyển sang ban võ nhưng vẫn sáng tác văn thơ. Nguyễn Huy Tự là tác giả truyện thơ Nôm Hoa tiên đặc sắc.

Con Thứ Phan Huy Cẩn là danh thần, nhà sử học thời Lê trung hưng trong lịch sử Việt Nam.

Cháu ông là Nguyễn Huy Hổ, tác giả truyện thơ Mai đình mộng ký.